Les hallucinations de ChatGPT ouvrent aux dveloppeurs la voie des attaques de logiciels malveillants dans la chane d'approvisionnement Les attaquants peuvent exploiter de fausses recommandations

Des chercheurs ont dcouvert que les attaquants peuvent exploiter la tendance de ChatGPT renvoyer de fausses informations pour diffuser des paquets de codes malveillants. Cela reprsente un risque important pour la chane d'approvisionnement en logiciels, car cela peut permettre des codes malveillants et des chevaux de Troie de se glisser dans des applications lgitimes et des dpts de code tels que npm, PyPI, GitHub et d'autres.

En tirant parti de ce que l'on appelle les "hallucinations de paquets d'IA", les acteurs de la menace peuvent crer des paquets de code recommands par ChatGPT, mais malveillants, qu'un dveloppeur pourrait tlcharger par inadvertance lorsqu'il utilise le chatbot, et les intgrer dans des logiciels qui sont ensuite utiliss grande chelle, ont rvl les chercheurs de l'quipe Voyager18 de Vulcan Cyber dans un article de blog publi

En intelligence artificielle, une hallucination est une rponse plausible de l'IA qui est insuffisante, biaise ou carrment fausse. Ces hallucinations surviennent parce que ChatGPT (et d'autres grands modles de langage ou LLM qui sont la base des plateformes d'IA gnrative) rpondent aux questions qui leur sont poses en se basant sur les sources, les liens, les blogs et les statistiques disponibles dans la vaste tendue d'Internet, qui ne sont pas toujours les donnes d'entranement les plus solides.

En raison de cet entranement intensif et de l'exposition de grandes quantits de donnes textuelles, les LLM comme ChatGPT peuvent gnrer des informations plausibles mais fictives, en extrapolant au-del de leur entranement et en produisant potentiellement des rponses qui semblent plausibles mais qui ne sont pas ncessairement exactes , a crit le chercheur principal Bar Lanyado de Voyager18 dans le billet de blog, prcisant galement Dark Reading que c'est un phnomne qui a dj t observ auparavant et qui semble tre le rsultat de la faon dont les grands modles de langage fonctionnent .

Il explique dans son billet que dans le monde des dveloppeurs, les IA gnrent galement des correctifs douteux pour les CVE et proposent des liens vers des bibliothques de codage qui n'existent pas, ce qui constitue une opportunit d'exploitation. Dans ce scnario d'attaque, les attaquants peuvent demander ChatGPT une aide au codage pour des tches courantes ; et ChatGPT peut offrir une recommandation pour un paquet non publi ou inexistant. Les attaquants peuvent alors publier leur propre version malveillante du paquet suggr, selon les chercheurs, et attendre que ChatGPT donne aux dveloppeurs lgitimes la mme recommandation pour ce paquet.

Comment exploiter une hallucination de l'IA

Pour prouver leur concept, les chercheurs ont cr un scnario utilisant ChatGPT 3.5 dans lequel un attaquant a demand la plateforme une question pour rsoudre un problme de codage et ChatGPT a rpondu avec plusieurs paquets, dont certains n'existaient pas - c'est--dire qu'ils n'taient pas publis dans un rfrentiel de paquets lgitime.

Lorsque l'attaquant trouve une recommandation pour un paquet non publi, il peut publier son propre paquet malveillant la place. La prochaine fois qu'un utilisateur pose une question similaire, il peut recevoir une recommandation de ChatGPT d'utiliser le paquet malveillant existant , crivent les chercheurs.

Si ChatGPT fabrique des paquets de code, les attaquants peuvent utiliser ces hallucinations pour diffuser des codes malveillants sans utiliser des techniques familires telles que le typosquatting ou le masquerading, en crant un "vrai" paquet qu'un dveloppeur pourrait utiliser si ChatGPT le recommandait, ont dclar les chercheurs. De cette manire, ce code malveillant peut se retrouver dans une application lgitime ou dans un dpt de code lgitime, ce qui cre un risque majeur pour la chane d'approvisionnement en logiciels.

Un dveloppeur qui demande une IA gnrative comme ChatGPT de l'aider avec son code pourrait finir par installer une bibliothque malveillante parce que l'IA pensait qu'elle tait relle et qu'un attaquant l'a rendue relle. Un attaquant malin pourrait mme crer une bibliothque fonctionnelle, comme une sorte de cheval de Troie, qui pourrait tre utilise par plusieurs personnes avant qu'elles ne ralisent qu'elle est malveillante , explique Lanyado.

Comment reprer les mauvaises bibliothques de code

Il peut tre difficile de savoir si un paquet est malveillant si un acteur de la menace obscurcit efficacement son travail ou utilise des techniques supplmentaires telles que la cration d'un paquet de chevaux de Troie qui est en fait fonctionnel, ont not les chercheurs. Cependant, il existe des moyens d'attraper le mauvais code avant qu'il ne soit intgr dans une application ou publi dans un rfrentiel de code.

Pour ce faire, les dveloppeurs doivent valider les bibliothques qu'ils tlchargent et s'assurer qu'elles ne font pas seulement ce qu'elles prtendent faire, mais qu'elles ne sont pas non plus un cheval de Troie astucieux se faisant passer pour un paquetage lgitime , explique Lanyado.
C'est particulirement important lorsque la recommandation provient d'une IA plutt que d'un collgue ou de personnes de confiance dans la communaut , ajoute-t-il.

Il existe de nombreuses faons pour un dveloppeur de procder, notamment en vrifiant la date de cration, le nombre de tlchargements et de commentaires, ou l'absence de commentaires et d'toiles, et en jetant un coup d'il aux notes jointes la bibliothque, expliquent les chercheurs. "Si quelque chose semble suspect, rflchissez-y deux fois avant de l'installer", recommande Lanyado dans son billet.

ChatGPT : risques et avantages

Ce scnario d'attaque n'est que le dernier d'une srie de risques de scurit que ChatGPT peut prsenter. Depuis son lancement en novembre dernier, cette technologie s'est rapidement impose, non seulement auprs des utilisateurs, mais aussi auprs des acteurs de la menace qui souhaitent l'exploiter pour mener des cyberattaques et des campagnes malveillantes.

Rien qu'au cours du premier semestre 2023, des escrocs ont imit ChatGPT pour voler les identifiants professionnels des utilisateurs, des attaquants ont vol des cookies Google Chrome grce des extensions ChatGPT malveillantes et des acteurs de menaces de phishing ont utilis ChatGPT comme un leurre pour des sites web malveillants.

Alors que certains experts pensent que le risque de scurit de ChatGPT est potentiellement exagr, il existe certainement en raison de la rapidit avec laquelle les gens ont adopt les plateformes d'IA gnrative pour soutenir leur activit professionnelle et allger le fardeau des charges de travail quotidiennes, ont dclar les chercheurs. moins que vous ne viviez sous une roche, vous serez bien conscient de l'engouement pour l'IA gnrative, des millions de personnes ayant adopt ChatGPT au travail , a crit Lanyado dans son billet de blog.

Les dveloppeurs ne sont pas non plus insensibles aux charmes de ChatGPT, se dtournant de sources en ligne telles que Stack Overflow pour trouver des solutions de codage et se tournant vers la plateforme d'IA pour obtenir des rponses, crant ainsi une opportunit majeure pour les attaquants , crit-il. Et comme l'histoire l'a dmontr, toute nouvelle technologie qui attire rapidement une base d'utilisateurs solide attire aussi rapidement des acteurs malveillants qui cherchent l'exploiter pour leur propre intrt, ChatGPT fournissant un exemple en temps rel de ce scnario.

Source : Vulcan

Et vous ?

Quel est votre avis sur le sujet ?